Tầm quan trọng tôn giáo của Medina bắt nguồn từ việc thành phố sở hữu al-Masjid an-Nabawi. Thánh đường này được Khalip Umayyad Al-Walid I mở rộng. Núi Uhud nằm ở phía bắc của Medina, đây là nơi diễn ra trận đánh thứ nhì giữa quân Hồi giáo và quân Mecca.

Thánh đường đầu tiên được xây dựng trong thời kỳ Muhammad cũng nằm tại Medina và được gọi là Thánh đường Quba. Nó bị sét phá huỷ, có thể là vào khoảng năm 850, và các phần mộ gần như bị quên lãng. Đến năm 892, di tích được dọn dẹp, các phần mộ được đặt đúng chỗ và một thánh đường đẹp đẽ được xây dựng, song lại bị hoả hoạn tàn phá vào năm 1257 và được tái thiết gần như ngay tức khắc. Công trình được phục hồi vào năm 1487 nhờ Qaitbay, một người cai trị Ai Cập.[9]

Masjid al-Qiblatain là một thánh đường khác có tính quan trọng lịch sử đối với người Hồi giáo. Đây là nơi quyền chỉ huy được trao cho Muhammad để chuyển hướng cầu nguyện từ Jerusalem đến Mecca theo một Hadith.[10]

Giống như Mecca, thành phố Medina chỉ cho phép người Hồi giáo đi vào, song haram (khu vực đóng cửa với người phi Hồi giáo) của Medina nhỏ hơn nhiều so với của Mecca, do đó nhiều hạ tầng tại vùng ngoại vi của Medina mở cửa cho người phi Hồi giáo, trong khi tại Mecca khu vực đóng cửa đối với người phi Hồi giáo kéo dài ra ngoài giới hạn khu vực đô thị. Các thánh đường của hai thành phố là điểm đến của nhiều người Hồi giáo trong Umrah (cuộc hành hương thứ nhì sau Hajj). Hàng trăm nghìn người Hồi giáo đến Medina mỗi năm khi họ thực hiện cuộc hành hương Hajj. Al-Baqi' là một nghĩa trang quan trọng tại Medina, tại đây có phần mộ của một số thành viên trong gia tộc của Muhammad, cùng các khalip và học giả.

Kinh thánh Hồi giáo nhấn mạnh tính thiêng liêng của Medina. Medina được nói đến nhiều lần với vị thế thiêng liêng trong kinh Quran, chẳng hạn như ayah; 9:101, 9:129, 59:9, và ayah 63:7. Surah Medinan thường dài hơn so với các surah Mecca. Ngoài ra còn có một quyển sách trong hadith của Bukhari mang tựa đề 'các đức tính của Medina'.[11]